¡Misión completada! Has dominado los bloques fundamentales del lenguaje de la IA.No es correcto. Intentemos reconstruir esa secuencia.Conocimiento cargado: Tokens y Secuencias ... ¿Es...? ? ... ¿O...?
¿Cómo llamamos a los pequeños bloques que usa la IA para leer?
¡Correcto! Los tokens son las unidades pequeñas como "manzana", "ing" o "?" que forman el lenguaje para una IA.
¿Cómo representa una computadora un token para poder entenderlo?
¡Correcto! Las computadoras solo entienden números, por lo tanto, cada token recibe un número de identificación único.
Si tenemos los tokens para "amigo" y "barco", ¿cómo se llama la palabra "amistad" cuando es una lista de números?
¡Exactamente! Una lista ordenada de números de tokens se llama secuencia.
¿Por qué importa tanto el orden de los tokens en una secuencia?
¡Exactamente! Los mismos tokens en un orden diferente pueden cambiar todo el significado de una oración.
¿Cuál es el límite de cuántos tokens puede procesar una IA a la vez?
¡Lo has entendido! La Ventana de Contexto es el límite de cuánta información puede "recordar" la IA durante una conversación.
¿Puede una sola marca de puntuación, como un punto (.), ser un token?
¡Correcto! Los tokens pueden ser palabras completas, partes de palabras o incluso signos de puntuación. ¡Todo es un bloque fundamental!
1
Tokenización y Secuencias
EvoClass-AI004Lecture 4
0
🤖 ¡Bip Bop! ¡Bienvenido, Cadete! Selecciona un subtítulo inferior para ver cómo una IA "lee" a través de la tokenización.
Comando de Py-BotEN VIVO
¡Bip Bop! ¡Hola, Cadete! Para enseñarle a una IA a leer, primero debemos cortar las palabras en pequeños "ladrillos" de Lego. ¿Listo para aprender cómo las computadoras convierten palabras en números?
Progreso del Tema0%
¡Gran elección! Un token es como un ladrillo de Lego. Palabras como "amistad" se dividen en partes más pequeñas como "amigo" y "barco". ¡Incluso un simple "." es un token! Para una IA, estas piezas son más fáciles de manejar que oraciones largas enteras.
1
Subtema 1
¿Qué es un Token?
Cortar el texto en pequeños bloques fundamentales como "amigo" y "barco".
¡Mira esto! Una vez que tenemos tokens, la IA les asigna a cada uno un número de identificación secreto. Estos números forman una "secuencia". ¡Recuerda: el orden importa! "El perro mordió al hombre" y "El hombre mordió al perro" usan los mismos bloques, pero la secuencia cuenta una historia totalmente distinta!
2
Subtema 2
El Poder de las Secuencias
Convertir bloques en una lista matemática donde el orden es todo.
¿Sabías que la IA tiene una "Ventana de Contexto", que es como su tamaño de mano? Solo puede mantener un número determinado de tokens en su "mente" a la vez antes de empezar a olvidar el principio!
¿Sabías que?
La IA tiene una "Ventana de Contexto", que es como su tamaño de mano. Solo puede mantener un número determinado de tokens en su "mente" a la vez antes de empezar a olvidar el principio!
Cargando...
⭐⭐⭐

¡Misión Completada!

¡Eres un Maestro de Tokens!